Herr Harpe menyertai Tentera Darat Prusia pada 28 September 1909 sebagai Kadet dan telah ditukarkan ke Rejimen Ke-56 Infantri pada tahun 1911. Disini beliau dinaikkan pangkat ke Leftenan Muda pada 20 Mac dan terlibat dengan rejimen ini dalam Perang Dunia I. Pada penghujung Perang Dunia I beliau menyandang jawatan komander kompeni.

Selepas perang Harpe kekal didalam perkhidmatan tentera Reichswehr. Pada tahun 1931, dibawah nama samaran Direktor Hacker, beliau memegang jawatan utama dalam Sekolah Kereta Kebal Jerman-Rusia (Sekolah kereta kebal Kama) rahsia di Kazan, Soviet Union. Beliau telah dinaikkan pangkat ke Leftenan Kolonel pada 1 Ogos 1934 dan menjadi komander Rejimen Ke-3 Panzer pada 15 Oktober 1935. Dinaikkan pangkat sekali lagi pada 1 Januari 1937, beliau telah diberi memerintah 1st Panzerbrigade dengan pangkat Kolonel. Pada tahun 1940 beliau mengambil alih jawatan Komandan Sekolah Pasukan Panzer Wünsdorf. Beliau bertugas di Barisan Timur, dimana beliau memerintah XXXXI. Panzerkorps dari Julai 1942 sehingga Oktober 1943 dan kemudian memerintah Kumpulan Tentera Darat A dari September 1944 hingga Januari 1945, apabila beliau telah dilucutkan jawatan kerana ketidakupayaan tentera Jerman menghentikan Penyerangan Vistula–Oder Soviet. Beliau mengakhiri perang sebagai Panglima Tentera Darat Ke-5 Panzer, Barisan Barat, dengan pangkat Kolonel Jeneral dan telah ditahan sebagai tawanan perang oleh pihak Amerika Syarikat sehingga tahun 1948.[1]